Hilary Duff dilahirkan di Houston, Texas dan merupakan anak kedua kepada Robert Erhard Duff dan Susan Colleen. Hilary Duff juga mempunyai seorang kakak yang bernama Haylie Duff.

Pada tahun 2006, ibu bapa Hilary bercerai disebabkan oleh bapanya yang curang terhadap ibunya. Hilary melepaskan perasaanya terhadap isu tersebut dalam dua buah lagu bertajuk "Stranger" dan "Gypsy Woman".[2]

Hilary Duff mula berpacaran dengan bintang Pasukan Hoki Kebangsaan Amerika Syarikat (NHL), Mike Comrie pada tahun 2007. Mike menghadiahi Hilary sebuah kereta Mercedez-Benz sempena hari jadinya yang ke-20.[3]